Current Result Document :
| 한글제목(Korean Title) |
오픈 데이터 레이크의 CSV 파일에 대한 Airbyte 기반 자동 테이블 추출 프레임워크 |
| 영문제목(English Title) |
An Airbyte-based Framework for Automatic Table Extraction from CSV Files in Open Data Lakes |
| 저자(Author) |
김다솔
손시운
원희선
문양세
Dasol Kim
Siwoon Son
Heesun Won
Yang-Sae Moon
|
| 원문수록처(Citation) |
VOL 49 NO. 01 PP. 0080 ~ 0082 (2022. 06) |
한글내용
(Korean Abstract) |
본 논문에서는 오픈 데이터 레이크에 존재하는 CSV 파일을 대상으로 자동 데이터 수집 및 테이블 추출을 지원하는 Airbyte 기반 프레임워크를 제안한다. 데이터 레이크는 데이터가 원시(raw) 형식으로 저장된 저장소(repository)를 의미하며, 오픈 데이터를 대상으로 하는 저장소를 오픈 데이터 레이크라 한다. Airbyte는 오픈소스 ELT 플랫폼으로, 일반화된 데이터 마이그레이션을 지원한다. 본 논문에서는 오픈 데이터의 특징을 고려하여 자동화된 오픈 데이터 수집 및 전처리를 지원하는 Open-data manager와 Airbyte 기반으로 CSV 파일에 대한 자동화된 테이블 마이그레이션을 지원하는 Airbyte manager를 설계 및 구현한다. 제안하는 프레임워크의 유효성을 검증하기 위해 미국과 캐나다 데이터 포탈을 대상으로 실험 및 평가한다. 실험 결과, 제안하는 프레임워크가 자동화된 방식으로 잘 동작함을 확인하고, 오픈 데이터의 인터넷 스케일 데이터 처리가 가능함을 보였다. 본 논문에서 제안하는 프레임워크를 사용하면, 효율적인 오픈 데이터의 연계 및 활용이 가능할 것으로 생각된다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
